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Описан метод восстановления видеофильмов, полученных путем оцифровки поврежденных кинопленок. Предложен алгоритм 
автоматического нахождения и восстановления поврежденных областей внутри кадра. Предложен способ идентификации и 
восстановления поврежденных кадров. 

Существует ряд различных алгоритмов, позво- видеоизображений [1-5]. Эти методы применяют- 
ляющих снижать различные шумы на видеоизобра- ся для фильтрации цифрового видео и позволяют 
жениях, а также удалять различные артефакты из улучшить восприятие видеоизображений, но не 
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учитывают особенностей, свойственных только 
повреждениям кинопленки. 

При хранении видеоинформации на киноплен- 
ках, последние подвергаются разнообразным фи- 
зическим воздействиям окружающей среды и со 
временем получают различные повреждения, кото- 
рые при просмотре и оцифровке приводят к по- 
явлению нежелательных артефактов, ухудшая тем 
самым визуальное восприятие информации. Эти 
артефакты особенно хорошо видны на старых ки- 
нопленках и представляют собой темные или свет- 
лые пятна и линии различной конфигурации. По- 
сле оцифровки кинопленок, видеоизображения 
может быть обработано специальными алгоритма- 
ми, и потерянные части кадров могут быть восста- 
новлены за счет использования информации из со- 
седних кадров и не поврежденных областей кадров. 

Следует учесть, что предложенный метод следу- 
ет применять только к фильмам, хранящимся 
именно на кинопленках, а не на магнитных лентах, 
содержащих цифровой или аналоговый сигнал, 
т. к. при повреждении магнитных лент, артефакты, 
появляющиеся на видеоизображениях, имеют со- 
вершенно другую природу и для их устранения 
нужны другие алгоритмы. 

Поскольку кинопленка представляет собой фи- 
зическую последовательность кадров на ленте, то 
специфика повреждений кинопленок такова, что 
практически невозможно получить одинаковые 
повреждения на подряд идущих кадрах. То есть 
повреждения являются уникальными для каждого 
кадра. Предложенный метод учитывает эту особен- 
ность и позволяет достаточно эффективно восста- 
навливать кадры в местах их повреждений. 

Восстановление поврежденных областей про- 
изводится за несколько этапов. На первом этапе 
необходимо весь видеоматериал разбить на сцены. 
Из-за того, что в различных кадрах одной сцены 
значительная часть информации дублируется, наи- 
более эффективное восстановление потерянных 
фрагментов возможно только при использовании 
соседних кадров из одной и той же сцены. На дан- 
ный момент существуют алгоритмы, определяю- 
щие смену сцены, которые сводятся к тому, что 
предыдущий кадр разбивается на блоки и для каж- 
дого блока на последующем кадре ищется похожий 
блок. Если количество блоков, для которых найде- 
ны похожие блоки, превышает заданный порог (в 
среднем 70 % от общего количества блоков кадра), 
считается, что смены сцены не произошло. Если 
же количество похожих блоков на соседних кадрах 
не велико (менее 40 %), считается, что в этом месте 
произошла смена сцены. 

Следующие параметры алгоритма определения 
смены сцены показали свою практическую эффек- 
тивность: 

Кадр разбивается на блоки 8x8 точек. Радиус по- 
иска похожих блоков на большинстве фильмов не 
превышает 16 точек, но на фильмах с быстрым дви- 


жением (когда объекты за время между двумя сосед- 
ними кадрами перемещаются более чем на четверть 
кадра) может быть больше, поэтому данный пара- 
метр в некоторых случаях может быть увеличен. 

Степень похожести блоков определяется как 
сумма квадратов разностей яркости всех 64 точек 
блоков на сравниваемых кадрах, т. е. 

63 

Ег = ^Г(А,-В,) 2 , (*) 

1=0 

где Ег - суммарная ошибка по всему блоку; А, и б, 
- яркость /-ой точки первого и второго кадров. 

Если Егтекущего блока меньше заданного поро- 
га, считается, что данный блок найден на сравнива- 
емом кадре. ЕІаибольшую эффективность показало 
значение данного порога, равное 2500, однако с по- 
мощью изменения величины этого порога, а также 
с помощью процентного соотношения найденных 
блоков, при котором считается, что смена сцены 
произошла, можно настраивать алгоритм определе- 
ния смены сцены на различные фильмы. 

Такие методы достаточно эффективно исполь- 
зуются в различных кодеках для определения места 
смены сцены, но реставрации видеофильмов нуж- 
на определенная корректировка. Дело в том, что 
некоторые кадры могут быть повреждены доста- 
точно сильно, особенно в местах склейки кино- 
пленки, и вышеописанный способ определит силь- 
но поврежденный кадр как место смены сцены и в 
дальнейшем его не удастся восстановить. Поэтому 
на предмет похожести необходимо сравнивать не 
только соседние кадры, но и более длинные после- 
довательности кадров. На рис. 1 и 2 приведены 
примеры видеопоследовательностей, на которых 
имеются сильно поврежденные кадры. 



12 3 4 



5 6 7 8 

Рис. 1. Пример видеопоследовательности 



5 6 7 8 

Рис. 2. Пример видеопоследовательности 
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В обоих примерах смена сцены происходит по- 
сле 5 кадра, но стандартные алгоритмы определят 
смену сцены после 2, 3 и 5 кадров на первом рисун- 
ке и после 2, 3, 4 и 5 кадров на втором рисунке. 
Если же сравнивать последовательности кадров, а 
не только соседние кадры, то можно определить, 
что кадры 1-5 относятся к первой сцене, а кадры 6, 
7 и 8 ко второй. Учитывая то, что человеческий глаз 
обладает инерционностью и не в состоянии реаги- 
ровать на изменение видеоинформации длитель- 
ностью в сотни и даже десятки мс, можно сделать 
вывод, что в реальном видеофильме сцена не мо- 
жет быть длительностью меньше 5-10 кадров. Кро- 
ме того, поврежденные кадры не будут иметь оди- 
наковые повреждения, и идентифицироваться как 
отдельная сцена. Поэтому, если попадаются от- 
дельные кадры, или небольшие цепочки кадров, 
выпадающие из общего ряда (то есть количество 
блоков, похожих на блоки из соседних кадров со- 
ставляет менее 40 %), их можно идентифицировать 
как поврежденные кадры. Если предыдущие и по- 
следующие кадры похожи друг на друга, повреж- 
денные кадры следует отнести к данной сцене, в 
противном случае поврежденные кадры следует от- 
носить либо к предыдущей сцене, либо к после- 
дующей в зависимости от того, на кадры какой сце- 
ны больше похожи поврежденные кадры. 



Рис. 3. Пример повреждения кадра 



Рис. 4. Пример повреждения кадра 


После того, как на фильме определены последо- 
вательности кадров, относящихся к одной сцене, 
внутри этих последовательностей возможно восста- 
новление кадров целиком, либо восстановление от- 
дельных фрагментов. Как уже говорилось выше, 
повреждения кинопленки имеют характерные осо- 
бенности - это могут быть так называемые «про- 
стрелы», т. е. светлые и темные точки или пятна, а 
также светлые либо темные линии различной кон- 
фигурации, вызванные, видимо, царапинами на ки- 
нопленке. Причем эти повреждения с большой до- 
лей вероятности уникальны для каждого кадра. На 
рис. 3 и 4 приведены примеры таких повреждений. 

Восстановление поврежденных частей состоит 
из двух этапов - определение областей, нуждаю- 
щихся в восстановлении, и заполнение этих обла- 
стей информацией, полученной из неповрежден- 
ных частей кадра. Для нахождения мест поврежде- 
ния кинопленки, можно исходить из того, что в по- 
следовательности кадров, относящихся к одной 
сцене, между кадрами будут происходить незначи- 
тельные изменения. Это объясняется тем, что при 
съемке со скоростью 25 кадров/с, время между 
съемкой двух соседних кадров составляет 40 мс, а 
за это время физические объекты не могут значи- 
тельно измениться (это естественно не относится к 
быстропротекающим процессам). Если же гово- 
рить о плавном повороте кинокамеры, изменении 
фокуса, либо о движении объектов внутри кадра, 
изменения между соседними кадрами будут незна- 
чительными и эти изменения можно отследить. 
Суть поиска поврежденных мест сводится к тому, 
что кадр делится на блоки и для каждого блока на 
соседних кадрах ищется похожий блок. Если такой 
блок найден, значит, что в этом месте не было пов- 
реждений и можно переходить к следующему бло- 
ку. Если же похожий блок не найден, значит либо 
объект успел значительно измениться, либо в этом 
месте произошло повреждение кинопленки. При 
этом, если изменился сам объект, похожие блоки 
не удастся найти и на последующих кадрах этой же 
сцены, если же в этом месте произошло поврежде- 
ние кинопленки, на последующих кадрах можно 
будет найти нужные блоки и таким образом можно 
идентифицировать место повреждения кадра. 

Для реализации предложенного метода можно 
воспользоваться тем же алгоритмом, что использу- 
ется для определения смены сцены, то есть, разби- 
ваем кадр на блоки 8x8 точек и для каждого блока 
по формуле (*) ищем похожие блоки на соседних 
кадрах. При этом, если блок содержит поврежде- 
ние, часть его точек будут значительно отличаться 
по яркости от точек блоков соседнего кадра, и при 
возведении в квадрат величина ошибки будет до- 
статочно большой для того, чтобы нужный блок не 
был найден. Такой блок помечается как возможно 
содержащий повреждения. После проверки всего 
кадра некоторые его части могут быть помечены 
как возможно содержащие повреждения. Эти части 
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необходимо обработать дополнительно. Если блок 
имеет видимые на глаз повреждения, то поврежден- 
ная область должна значительно отличаться по яр- 
кости от соседних областей, в противном случае че- 
ловек не будет отличать повреждение от фона, и нет 
необходимости исправлять такое повреждение. По- 
этому вторым проходом необходимо провести ана- 
лиз яркости точек внутри таких блоков. Для этого 
нужно построчным сканированием всех точек вну- 
три поврежденных блоков найти места резкого из- 
менения яркости соседних точек. Если модуль раз- 
ницы яркостей соседних точек, посчитанных по 
формуле, приведенной ниже, превышает заданный 
порог, в этом месте будет граница повреждения. 

И - Ап >Тг » 

где А, - яркость /-ой точки; А ш - яркость /+ 1 точ- 
ки; Тг - порог для определения границы поврежде- 
ния. Для градации яркости, равной 256 бит на точ- 
ку, порог может задаваться в диапазоне 15-25. 
Именно такой перепад яркости хорошо различает 
человеческий глаз. 

Все точки, находящиеся между границами пов- 
реждений внутри поврежденного блока, являются 
поврежденными и нуждаются в восстановлении. 
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Рис. 5. Восстановление поврежденной точки 

После обнаружения поврежденных областей их 
необходимо восстановить, для этого необходимо ис- 
пользовать информацию из соседних областей теку- 
щего кадра, а также информацию из соседних ка- 
дров. На первом этапе, применяя методы интерпо- 
ляции, восстанавливаем поврежденные точки, ис- 
пользуя информацию из текущего кадра. На рис. 5 
приведен пример области содержащей поврежде- 
ния, при этом пустые клетки обозначают целые точ- 
ки, клетки с пустыми кругами обозначают повреж- 
денные точки, а клетка с закрашенным кругом обоз- 
начает текущую точку, которая восстанавливается в 
данный момент. Для ее восстановления будет ис- 
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пользовать информацию из целых точек, обозна- 
ченных буквами А, В , С, /). Это ближайшие целые 
точки по вертикали и горизонтали к текущей точке. 

Яркость текущей точки и яркость каждой цве- 
товой компоненты текущей точки можно рассчи- 
тать по формуле: 

, _ А(1-1а) + В(1-Щ+С(1-1с) + 0(1-Ы) 

А “ зЕ ’ 

где А/ - яркость искомой точки; А, В, С, В- яркость 
точек; Ьа, ВЪ, Ьс, Ы - расстояние в пикселах от 
искомой точки до точек А, В. С, /): Ьа+ЬЪ+Ьс+Ы. 

Данные формулы позволяют увеличить влия- 
ние более близких точек на искомую точку и уме- 
ньшить влияние более дальних точек. Таким обра- 
зом можно восстановить поврежденную область по 
данным текущего кадра. 

Если же есть возможность использовать данные 
из соседних кадров, поврежденные области эффек- 
тивней восстанавливать по этим данным. Для это- 
го нужно суммировать вектора смещения целых 
блоков, расположенных вокруг поврежденной 
области и получить вектор движения объекта на 
котором есть повреждение. Зная, где было повреж- 
денное место на предыдущем кадре, и где оно нахо- 
дится на следующем кадре, можно каждую повреж- 
денную точку посчитать как среднее арифметиче- 
ское между предыдущей и последующей точками: 


' 2 

где А,_, и Д +1 - яркость точек предыдущего и сле- 
дующего кадров. 

Если кадр поврежден полностью, для его восста- 
новления необходимо использовать данные из со- 
седних кадров этой же сцены, при этом каждая точ- 
ка кадра может быть получена из соответствующих 
точек соседних кадров методом интерполяции. 

После вычисления значений яркости повреж- 
денных точек, восстановленные области не будут 
выделяться на фоне содержащих их объектов, что 
улучшит качество восприятия восстановленных 
кинофильмов. 

Предложенный метод восстановления оцифрован- 
ных кинопленок позволяет в автоматическом и по- 
луавтоматическом режимах повысить качество вос- 
приятия видеоизображений. При этом временные и 
материальные затраты на восстановление видеоизо- 
бражений в десятки раз ниже чем при ручных способах. 
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